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摘 要 : 针对 生成 对 抗 网 络 中 修复 网 络 无 法 兼顾 图 像 的 全 局 一 致 性 和 局 部 一 致 性 ， 且 计算 负载 较 大 的 问题 ， 在 非 对 
称 U-Net 网 络 架 构 的 基础 上 引入 渐进 修复 的 思想 。 首 先 ， 提 出 了 非 对 称 周期 特征 推理 模块 ， 增 加 图 像 修 复 内 容 与 周 
围 已 知 像素 之 间 的 关联 性 ， 提 高 了 修复 图 像 的 全 局 一 致 性 表现 。 其 次 ， 提 出 新 型 的 U-Net 结构 生成 器 网 络 ， 人 避免 了 
编码 器 中 的 未 知 像素 进入 解码 器 ， 从 而 破坏 解码 器 中 特征 的 问题 。 最 后 ， 引 入 了 感知 损失 和 风格 损失 ， 进 而 提高 了 
网 络 在 主观 评价 下 的 修复 效果 。 在 人 脸 图 像 数 据 集 上 的 实验 表明 ， 该 文 算法 在 主观 视觉 效果 和 客观 指标 上 都 有 显著 
的 提高 。 
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Asymmetric periodic inference cyclic progressive face completion algorithm research 


Li Yaqian, Zhang Xuyao', Li Qilong 
(Yanshan University, School of Electrical Engineering, Qinhuangdao Hebei 066004, China) 


Abstract: To address the problem that the inpainting network in generative adversarial networks cannot take into account the 
global consistency and local consistency of images and has a large computational load, this paper introduces the idea of 
incremental inpainting based on the asymmetric U-Net network architecture. Firstly, this paper proposed an asymmetric 
periodic feature inference module to increase the correlation between image inpainting content and surrounding known pixels, 
which improves the global consistency performance of restored images. Secondly, this paper presented a novel U-Net 
structured generator network to avoid the problem of unknown pixels in the encoder entering the decoder and thus corrupting 
the features in the decoder. Finally, it introduced perceptual loss and style loss, which in turn improve the inpainting 
effectiveness of the network under subjective evaluation. Experiments on the face image dataset show that the algorithm in 
this paper shows significant improvements in both subjective visual effects and objective metrics. 

Key words: generative adversarial network; gradual inpainting; asymmetric periodic feature inference; image inpainting 
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ü 还 有 一 种 类 似 的 方法 是 基于 分 层 VQ-VAE 的 multiple-solution 

图 像 作 为 人 们 日 常生 活 中 一 个 重要 的 信息 载体 ， 当 其 7 图 像 修复 方法 四， 这 种 方法 的 模型 将 结构 和 纹理 分 开 提出 为 

人 生 破 损 、 老 化 或 者 部 分 信息 丢失 的 时 候 很 容易 使 人 们 对 信息 结构 特征 的 分 布 学 习 一 个 条 件 自 回归 网 络 , 对 于 纹理 生成 , 提 
= 产生 误解 。 由 于 现实 中 的 图 像 是 在 非 约束 条 件 下 获得 的 ， 所 出 一 个 结构 注意 力 模块 ,用 来 捕捉 结构 特征 的 远 距 离 相 关 性 ， 


以 获得 的 图 像 可 能 会 出 现 遮 挡 、 污 涡 、 破 损 等 情况 ， 当 图 像 ” 改善 了 结构 的 一 致 性 和 纹理 的 真实 性 四。Li 等 人 设计 了 一 种 
中 出 现 上 述 情况 的 时 候 会 明显 对 图 像 的 识别 、 检 测 与 分 割 产 。 ”线条 修复 模块 将 线条 修复 过 程 简 化 , 从 而 可 以 使 用 一 个 GAN 


生 负 面 影响 。 因 此 图 像 修 复 技术 是 一 种 被 现实 迫切 需要 的 技 进行 线条 -颜色 修复 的 方法 。 通 过 设计 可 视 化 结构 重 构 
术 ， 特 别 是 在 如 今 图 像 识 别 、 分 割 等 任务 已 经 进入 日 常 使 用 (visual structure reconstruction, VSR) 模 块 国 可 在 生成 器 的 初始 
环境 下 的 今天 。 层 中 进行 线条 修复 ， 在 生成 器 的 主干 通道 中 进行 颜色 修复 。 

传统 的 工匠 修复 照片 通常 首先 对 图 像 的 线条 或 者 物体 轮 将 线条 修复 作为 一 个 模块 肉 入 到 网 络 中 可 以 有 效 的 避免 分 级 
廓 进行 修补 ， 之 后 再 对 图 像 的 颜色 和 纹理 进行 修复 。Li AN BR PLA GAN 串联 造成 的 计算 负载 大 和 不 易 收敛 的 问题 。 


首次 将 GAN 应 用 在 人 脸 修 复 领 域 ， 借 鉴 工 匠 修 复 图 片 先 轮 ”随后 Li 等 人 外 认为 线条 -颜色 分 级 不 是 图 像 修复 的 最 优 解 ， 
廓 后 纹理 的 思路 ,在 鉴别 器 中 同时 引入 全 局 和 局 部 损失 函数 ， 忆 此 设计 了 周期 特征 推理 (recurrent feature reasoning, RFR) 模 
生成 的 图 片 不 仅 在 语义 上 有 效 ， 视 觉 上 也 比较 和 谐 。 由 此 图 鼎 。 它 采取 修复 区 域 分 级 的 方法 ， 逐 步 向 内 修复 。RFR 模块 
像 修 复 技术 发 展 出 了 一 类 将 修复 任务 分 级 的 修复 方法 。 可 以 控制 每 一 步 修复 的 区 域 ， 然 后 控制 下 一 步 修复 采用 上 次 
Nazeri 等 人 争 提 出 了 一 种 线条 -颜色 两 步 修复 算法 ， 先 用 一 个 侈 复 区 域 的 内 容 作为 推理 依据 进行 下 一 步 的 填充 ， 通 过 在 各 
Patch GANDI 进 行 图 像 的 线条 修复 , 再 用 另 一 个 Patch GAN 3 层 推理 特征 图 中 设计 知识 一 致 性 注意 力 (knowledge consistent 
行 颜色 修复 ， 这 样 两 个 GAN 串联 的 方式 可 以 将 修复 网 络 分 。 attention, KCA) 中 机 制 来 增强 各 层 推理 的 相关 性 。 

级 , 得 到 精细 度 更 好 的 修复 图 像 。Xiong 等 人 四 提出 应 明确 区 上 述 工 作 中 ， 大 部 分 模型 虽然 获得 了 更 好 的 图 像 修复 效 
分 结构 推断 和 内 容 修 复 。 所 提出 的 模型 通过 精确 的 预测 边界 ” 果 ， 但 也 随 之 增加 了 计算 负担 ， 并 且 没 有 解决 多 个 GAN 串 
来 指导 图 像 修复 ， 边 界 修复 模块 能 够 在 待 修复 区 域 推断 出 合 联 不 易 收敛 的 问题 。 如 何在 不 增加 训练 难度 的 同时 引入 分 级 
理 的 结构 ， 图 像 修 复 模块 再 根据 预测 边界 来 生成 图 像 内 容 ， 修复 的 思想 ， 针 对 修复 任务 设计 出 一 种 即 插 即 用 的 特征 推理 
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模块 是 一 种 简单 有 效 的 解决 思路 。RFR 模块 为 渐进 修复 方法 
提供 了 一 种 模块 化 设计 网 络 的 新 思路 , 受 启发 于 RFR 的 设计 
理念 ， 本 文 将 RFR 模块 进行 重 构 并 结合 非 对 称 U-Net 框架 ， 
设计 了 非 对 称 周期 特征 推理 模块 ， 从 而 进一步 提升 模块 的 特 
征 推理 能 力 。 本 文 的 主要 贡献 如 下 : 
(1) 本 文 针对 图 像 修 复 网 络 无 法 兼顾 图 像 的 全 局 一 致 性 
和 局 部 一 致 性 ， 且 需要 的 计算 负载 较 大 的 问题 。 比 较 现 有 方 
法 后 发 现 RFR 模块 在 降低 编码 器 部 分 的 未 知 像素 , 提高 网 络 


视觉 表现 , 采用 在 人 脸 数 据 集 上 预 训练 的 VGG-Net 4 
损失 和 风格 损失 可 以 提升 生成 图 在 图 像 视觉 感知 和 
设计 的 非 对 称 周 期 推理 循环 渐进 的 人 脸 


表现 。 
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合理 循环 渐进 的 人 脸 修复 算法 研究 


如 图 3 所 示 。 其 中 循环 渐进 修复 网 络 首先 将 RFR 模块 嵌入 在 
面 使 得 进入 修复 网 络 的 编码 器 的 时 候 图 像 已 经 没有 
送 入 U-Net 网 络 中 ， 


输入 层 后 


未 知 区 域 ,随后 将 不 含 未 知 
此 网 络 类 似 RNN， 特 征 图 第 一 次 输入 到 RFR 模块 
结果 又 会 第 二 次 重新 输入 到 RFR 模块 是 


的 解码 有 良好 表现 ,将 RFR 模块 进行 重 构 改 进 成 非 对 称 周 期 
特征 模块 应 用 U-Net 结构 之 中 ， 提 出 了 非 对 称 周 期 特征 推理 


CI) 本 文 提 出 了 一 种 渐进 修复 00 的 人 脸 修 复 网 络 。 引 入 
PatchGAN 训练 修复 网 络 ， 使 用 门 控 卷 积 层 作 为 U-Net 结构 
的 生成 器 的 编码 器 中 的 卷 积 函数 ，U-Net 底层 改 为 双 通 道 空 
洞 卷 积 的 方式 ， 结 合 感知 损失 和 风格 损失 ， 获 得 了 良好 的 人 
脸 修复 效果 。 

(3) 实 验 在 CelebA 人 脸 数据 集 上 采用 了 随机 mask 作为 
训练 和 测试 数据 ， 并 且 与 Edge-ConnectionP!, PConv"", 
GatedConv023，GFP-GAN03 和 LaMa04 现 有 先进 的 修复 模型 
进行 对 比 ， 结 果 表 明 本 文 算 法 在 提升 主观 效果 和 客观 指标 上 
的 有 效 性 。 

1 算法 原理 
1.1 循环 修复 网 络 框架 

周期 特征 推理 模块 启发 于 渐进 修复 思想 以 及 部 分 卷 积 中 
的 修复 区 域 定 位 机 制 ， 通 过 对 mask 通道 的 更 新 进行 每 一 步 
修复 区 域 的 定位 。 周 期 推理 模块 分 为 四 个 部 分 : 区 域 定位 
(area identification)05 特 征 推 理 (feature reasoning RERS 


(feature merging) 知识 一 致 性 注意 力 (knowledge consistent 
attention)， 模 块 结构 如 图 1 所 示 。 


识 | 


循环 1 次 输出 


n 次 输出 特征 
聚合 


循环 n 次 输出 


修复 区 域 定位 


特征 推理 


图 1 周期 推理 模块 
Fig. 1 Periodic reasoning module 

和 现在 流行 的 图 像 修复 方法 不 同 的 是 ，RFR 模型 中 并 没 
有 使 用 GAN， 网 络 总 体 上 是 一 个 CNN 结构 。 在 本 文 设计 非 
对 称 周期 特征 推理 模块 中 ， 将 GAN 优良 的 无 监督 学 习 能 力 
引入 ,设计 PatchGAN 结构 ， 采 用 基于 Wasserstein EB Eg Uh 
计 的 马尔 可 夫 判 别 器 训练 戏 入 了 RFR 模块 的 U-Net 生成 器 。 
区 域 定位 采用 部 分 卷 积 的 mask08 更 新 机 制定 位 每 一 个 循环 


第 39 卷 第 


区 域 的 特征 图 


8 期 


感知 
风格 上 的 
侈 复 网 络 框架 


EE 输出 的 
。 第 二 次 则 在 第 一 次 


填充 的 特征 图 的 基础 上 进一步 填充 或 预测 出 更 合理 的 值 。 这 


样 反 复 几 个 循环 后 才 会 进入 到 下 一 步 的 4 


循环 机 制 带 来 的 好 处 是 能 反复 利用 RFR 


型 达到 轻便 化 的 同时 预测 出 更 合 ] 
模块 特征 推理 能 力 。 
， 将 U-Net 的 底层 设计 为 并 联 空洞 卷 积 结构 。 该 算法 


的 能 


竺 征 融 合 环 节 。 这 种 


模块 中 的 特征 , 使 模 


里 的 特征 参数 ， 进 一 步 提升 


为 了 提高 图 像 在 高 层 特征 图 中 提取 语义 


使 用 门 控 卷 积 层 作 为 U-Net 结构 生成 器 中 编码 器 的 卷 积 函数 ， 


U-Net 底层 改 为 双 通 道 空洞 卷 积 的 方式 以 防止 图 像 空间 结构 
在 生成 器 的 底层 被 破坏 。 


非 对 称 周期 特征 推理 模块 


区 域 定位 


特征 推理 


部 分 卷 积 门 控 卷 积 EOM 普通 卷 各 


区 | 


性 注意 力 “ 


2 非 对 称 周期 特征 推理 


Fig.2 Asymmetric periodic feature inference 


循环 渐进 修复 网 络 


门 控 卷 积 


周期 特征 推理 


图 3 非 对 称 周 期 失 


空洞 卷 积 


门 控 反 卷 积 


普通 卷 积 


E 理 循环 渐进 的 人 脸 修复 模型 


Fig.3 Asymmetric cycle inference for cyclic 


progressive face restoration model 


1.2 马尔 可 夫 判 别 器 


普通 的 GAN 思想 是 采 | 


真实 数据 分 布 p. 还 是 生成 数据 分 布 p, o 


AH. SR 
NxN HJE RE x, HH 


体 中 修复 区 域 的 大 小 和 位 置 。 由 于 基于 普通 卷 积 的 卷 积 方式 
不 适合 用 于 图 像 空 洞 填充 ， 因 为 空间 共享 的 卷 积 过 滤器 将 所 
有 输入 像素 或 特征 视 为 相同 的 有 效 特征 ;会 导致 诸如 颜色 差 
异 、 模 糊 和 和 孔 周 围 明显 的 边缘 反映 等 视觉 假象 ， 所 以 本 文采 
用 门 控 卷 积 5 作 为 特征 推理 模块 的 卷 积 核 使 之 提高 对 修复 
内 容 的 特征 推理 能 力 ， 构 建 一 个 非 对 称 的 结构 。 本 文 提 出 的 
非 对 称 周期 特征 推理 模块 框架 如 图 2 所 示 。 

采用 上 述 非 对 称 特征 推理 模块 结合 U-Net 网 络 结构 的 跳 
跃 连接 59 机 制 提高 解码 器 的 图 像 生成 能 力 ， 从 而 提高 图 像 的 


应 到 原 图 一 个 MxM 大 小 的 感受 野 内 
将 矩阵 所 有 的 值 取 平均 得 到 图 像 的 真实 度 。 网 络 训练 采用 
于 Wasserstein 距离 的 衡量 指标 ， 
马尔 可 夫 判 别 器 相对 于 普通 判别 器 来 说 有 以 下 优点 : 


XI 


EJ 7] is Ue 


HX 


l 


(1) 马 尔 可 夫 判 别 器 可 以 关注 图 像 块 


著 提 升 图 像 的 细节 表现 。 
(2) 通 过 关注 输入 的 不 同 区域 ， 可 以 通过 学 习 考 虑 到 图 中 


] 一 个 判别 器 来 关 


保证 可 以 收敛 。 


与 普通 GAN 的 } 


1 定 输入 是 来 自 


特征 融合 


api 


计 为 全 卷 积 结构 ， 输 出 为 一 个 
ERE x 的 元 素 Xo RREME (Gj) 处 对 


图 像 块 的 真实 度 ， 最 后 


基 


的 修复 结果 ， 能 够 显 


不 同 区 域 对 于 识别 该 图 是 否 属于 真实 图 像 的 贡献 度 ， 从 而 可 


以 有 针对 性 的 考虑 贡献 大 的 


区 域 。 例 如 在 针对 人 脸 进行 修复 
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的 时 候 , 判别 器 重点 关注 人 脸 区 域 ,减少 对 背景 区 域 的 关注 。 


为 了 提高 PatchGAN 的 收敛 速度 ， 同 时 提高 修复 的 多 样 
性 ,参考 了 Miyato 等 人 的 研究 ， 在 PatchGAN 中 引入 谱 范 数 
正则 化 。 WGAN 能 够 收敛 所 需要 的 条 件 是 网 络 满足 Lipschitz 
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式 (4) 所 示 。 


L= Ayav Laav + Aper Lper Aye Lage + ALn, 


style 


约束 P0。 为 了 满足 这 个 条 件 ， 原 始 WGAN 采用 了 梯度 裁剪 
的 方式 人 为 的 将 所 有 卷 积 层 的 权重 约束 到 一 个 范围 内 ， 最 后 
造成 了 梯度 分 布 不 均匀 的 问题 .随后 提出 的 WGAN-GP20 采 / 
梯度 惩罚 的 正则 化 方式 缓解 了 这 个 问题 。 后 来 Miyato 等 人 


RUE. ,代表 LI 重 构 损失 。 


进行 优化 首先 对 网 络 进行 前 向 计 和 


提出 了 采用 谱 范 数 正 则 化 的 方式 ， 进 而 在 不 对 梯度 加 以 干扰 
的 条 件 下 使 得 网 络 满足 1-Lipschitz 约束 。 本 文 所 采用 的 马尔 
可 夫 判 别 器 中 采用 谱 范 数 正 则 化 进行 训练 ， 从 而 提高 判别 器 
的 效果 。 
1.8 感知 损失 与 风格 损失 


本 文 算法 采用 在 人 脸 数据 集 上 预 训练 的 人 脸 识别 网 络 作 为 监 
督 ,对 修复 图 和 原 图 进行 感知 差别 的 计算 和 风格 保持 的 计算 。 
其 中 修复 网 络 的 输出 和 原 图 的 尺寸 为 256x256, m VGG16 


针对 人 脸 修复 任务 ,本文 引 进 了 感知 损失 与 风格 损失 P]。 


随后 根据 式 (4) 计 算 网 络 的 损失 ,采用 
所 计算 的 权重 如 下 所 示 。 


17m, 


网 络 的 输入 为 224x224 的 图 像 ， 因 此 在 训练 时 将 修复 网 络 
的 输出 图 与 原 图 在 计算 损失 时 尺寸 变 为 224X224。 所 用 的 
VGG16 网 络 结构 如 图 4 所 示 。 


修复 图 (O) 


Uu 


原 图 (G) 


图 4 感知 损失 与 风格 损失 计算 
Fig.4 Perceived loss and style loss calculation 
感知 损失 的 计算 在 VGG16 网 络 的 relu3 3 层 计算 , 计算 
方式 如 式 (1) 所 示 。 


aA A 0) 


输入 图 片 (D ”循环 渐进 修复 网 络 


WN cns (5) 
上 式 中 的 一 阶 动量 m 和 二 阶 动量 计算 由 式 (6) 和 (7) 给 出 : 
_ m Nm +(1— yi) ôL 
"Ug y w © 
n, yma +(1-7;) OL 
OEA rA w 0) 
其 中 ， x. nA e 都 是 优化 算法 的 参数 ，L 是 网 络 的 总 体 损 


失 。 梯 度 反 传 过 程 首先 通过 网 络 的 损失 对 权重 的 梯度 计算 出 
一 阶 动量 和 二 阶 动量 的 无 偏 估计 ， 代 入 式 (5) 即 可 更 


2 ”修复 实验 结果 


21 深度 学 习 环 境 配置 
本 算法 的 实验 代码 采用 PyTorch 框架 实现 。 
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IMH 0-1, 6M «G(.M)e0-M) , str G 为 网 络 的 生成 器 ， 
输入 图 片 未 被 谈 挡 的 原 图 为 避 ， 网 络 的 总 损失 函数 如 下 


(4) 


HB. La RERI DARRO, L 代表 感知 损失 ，Lw 


本 文 网 络 的 优化 方法 使 用 Adam 优化 器 ， 针 对 总 体 损失 
,得 到 输出 的 修复 图 像 ， 
Adam 对 损失 进行 优化 。 


新 权重 。 


Pytorch 是 


Facebook 公司 开发 的 动态 计算 流 图 的 深度 学 习 框 架 。 
PyTorch 框架 提供 了 根据 计算 图 求 各 节点 导数 的 功能 ， 可 以 
动态 的 建立 计算 流 图 , 能够 更 加 方便 的 实现 梯度 的 反 向 传播 。 


同时 集成 了 大 量 的 深度 学 习 常 
本 文 算法 的 实验 平台 的 操作 系统 是 64 位 的 
系统 ， 版 本 是 Ubuntu 18.04LTS ， 
OpenCV 为 4.4.0.46, numpy 为 1.16.5，scipy 为 1 
image 为 0.13.1。 显 卡 型 号 为 Nvidia 1080Ti 8G 。 
2.2 数据 集 介 绍 与 超 参数 配置 

CelebAP4l f 
集 , 数据 集中 一 共 包含 202599 张 人 脸 图 片 。 由 于 


函数 ,方便 网 络 搭建 和 实验 。 


Linux 内 核 


PyTorch 版 本 为 1.2.0， 


.1.0, scikit- 


香港 中 文大 学 收集 制作 的 大 尺度 人 脸 数 据 


未 处 理 的 数 


据 集 中 图 像 尺 寸 不 一 ， 人 脸 位 置 不 一 ， 不 方便 进 


ITZA, W 


此 首先 采用 作者 给 出 的 人 脸 bbox 回归 框 标注 文 


H, 代表 VGG Ws, j 代表 使 用 VGG 网 络 的 第 j 层 的 
征 图 作为 输出 ，C;，#;，W 分 别 代 表 VGG 网 络 的 第 j 层 
输出 的 特征 图 的 通道 数 、 高 度 和 宽度 。 

采用 VGG16 作为 监督 网 络 ， 识 别 输入 两 个 图 在 特征 图 
层面 的 像素 级 差别 。 与 直接 在 图 像 上 进行 像素 级 差别 计算 相 
比 ， 特 征 图 可 以 表示 图 像 的 高 层 语 义 特征 ， 因 此 在 特征 图 上 
进行 像素 级 的 计算 可 以 表示 两 张 图 之 间 的 感知 差别 。 

风格 损失 计算 方式 如 式 (2) 及 (3) 所 示 。 


1 H; NSW, 
"ona Dea h Wah hs. ©) 


Ihi (0,8) =G} (0) -G? Ca). (3) 
其 中 ， 乡 代表 VGG 网 络 ，j 代表 使 用 VGG 网 络 的 第 j 层 的 
特征 图 作为 输出 ，C;，H; ，W 分 别 代表 VGG 网 络 的 第 J 层 输 
出 的 特征 图 的 通道 数 、 高 度 和 宽度 ，G 代表 计算 格拉 姆 矩阵 。 
14 总 体 损失 
训练 网 络 总 共 包 含 四 部 分 的 损失 ， 即 PatchGAN 损 
失 、 感 知 损失 、 风 格 损失 及 Ll 重 构 损 失 。 定 义 网 络 的 输 
入 图 片 为 =I eM ， 式 中 M ERBER, €M 中 像素 点 
为 0 的 区 域 为 未 知 区 域 ,像素 点 为 1 的 区 域 为 已 知 区 域 ， 
输入 的 破损 图 像 是 由 原始 图 像 和 掩 码 图 像 进 行 逐 像素 的 
车 加 得 到 。 输 入 图 像 经 过 循环 渐进 人 脸 修 复 网 络 的 修复 ， 


GD 


余 图 片 均 为 训练 集 。 
本 文 的 实验 使 用 Adam 优化 器 ,训练 时 
模型 调整 优化 阶段 (fine-tuning) 学 习 率 为 1x105 
批 次 为 6, 训练 450000 次 循环 。 超 参数 设 
Auc, Apul, 

2.3 实验 结果 与 评价 指标 


的 模型 。 横 向 对 比 的 模型 有 Edge-ConnectionD]， 


GatedCony? ; GFP-GANIPIfI LaMal4。 本 文采 用 PConv 中 


本 文 算法 选取 的 对 比 模型 都 是 在 人 脸 数据 上 有 优秀 表现 


件 进 行 预 处 


XE, 得 到 202599 张 对 齐 后 的 图 片 , 随后 进行 尺寸 变换 为 256x 
256 的 图 片 ， 然 后 在 图 片 中 随机 抽取 1000 张 作 为 测试 集 ， 其 


学 习 率 为 1x107， 
， 模 型 的 输入 
Pu -À,,-0.05, 


PConvylill, 


所 提出 的 不 规则 遮挡 (irregular mask) 数 据 集 作为 训练 和 测试 


的 mask, 该 数据 集 提供 


了 不 同 遮 挡 比 例 和 不 同形 


遮挡 如 图 5 所 示 ， 待 修复 图 片 如 图 6 所 示 。 


状 的 随机 让 


挡 ， 可 以 模拟 现实 世界 中 遮挡 的 随机 性 ， 采 用 该 数据 集 作 为 
测试 mask 对 于 横向 对 比 而 言 更 有 客观 性 ， 不 同比 率 的 mask 


各 算法 在 人 脸 数 据 集 上 的 主观 表现 如 图 7 所 
知 ，PConv、 
和 本 文 算法 均 对 还 原 图 像 的 全 局 语义 有 较 好 的 效 
算法 在 还 原 图 像 的 细节 结构 有 更 加 突出 的 表现 ， 
无 法 准确 的 全 部 还 原 图 像 中 的 一 些 细节 结构 。 


zw. MZH] 


GatedConv, Edge-Connection, GFP-GAN, LaMa 


果 ， 但 本 文 
前 五 种 算法 
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(a)0.01-0.1 的 (c)0.2-0.3 的 
mask mask 


(d)0.3-0.4 的 (e)0.4-0.5 的 (D0.5-0.6 的 
mask mask 


图 5 不 同 mask 比率 示意 图 


Diagram of different mask ratios 


(a)0.01-0.1 (b)0.1-0.2 (c)0.2-0.3 
mask 下 待 修复 mask 下 待 修复 mask 下 待 修复 
图 像 图 像 Fifi 


(003-04 (€)0.4-0.5 (0.5-0.6 
mask 下 待 修复 mask 下 待 修复 mask 下 待 修复 
图 像 图 像 图 像 


图 6 不 同比 例 随机 遮挡 下 的 待 修复 图 像 


Fig.6 Images to be restored at different scales with random masking 


Edge-Connect GFP.GAN LaMs KAAN 


图 7 不 同 模型 主观 修复 对 比 


输入 网 PConv GaledConv 


Fig. 7 Comparison of subjective inpainting of different models 
为 了 探索 本 文 算法 所 提出 的 非 对 称 周 期 特征 推理 模块 和 
采用 PatchGAN 训练 的 网 络 框架 的 有 效 性 , 设计 了 与 RFR 进 
行 对 比 的 实验 ， 对 比 结果 如 表 1 所 示 。 
表 1 mask 在 (0.1,0.2] 时 与 RFR 对 比 结果 
Tab.1 Mask compared the results with the original paper at (0.1,0.2] 
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表 2 mask 在 (0.1,0.2] 时 不 同 模型 的 指标 
Tab.2 Mask at (0.1,0.2] different model indicators 


模型 PSNR SSIM LI 
PConv 32.77 0.977 0.0083 
GatedConv 32.56 0.973 0.0088 
Edge-Connection 32.48 0.975 0.0088 
GFP-GAN 32.86 0.979 0.0082 
LaMa 33.17 0.980 0.0078 
本 文 算法 33.61 0.983 0.0071 


在 mask 比率 为 (0.3,0.4] 时 不 同 模型 的 修复 效果 对 比如 表 
3 所 示 。 
表 3 mask 在 (0.3,0.4] 时 不 同 模型 的 指标 
Tab.3 Mask at (0.3,0.4] different model indicators 


模型 PSNR SSIM L1 
PConv 26.94 0.922 0.0236 
GatedConv 26.72 0.914 0.0245 
Edge-Connection 26.62 0.915 0.0247 
GFP-GAN 27.04 0.920 0.0235 
LaMa 27.15 0.926 0.0231 
本 文 算法 27.78 0.935 0.0211 


在 mask 比率 为 (0.5,0.6] 时 不 同 模型 的 修复 效果 对 比如 表 
4 所 示 。 
表 4 mask 在 (0.5,0.6] 时 不 同 模型 的 指标 
Tab.4 Mask at (0.5,0.6] different model indicators 


模型 PSNR SSIM L1 
PConv 22.14 0.791 0.0524 
GatedConv 21.47 0.767 0.0561 
Edge-Connection 21.49 0.759 0.0572 
GFP-GAN 21.62 0.792 0.0506 
LaMa 22.14 0.797 0.0498 
本 文 算法 22.91 0.823 0.0468 


K 2-4 展现 了 在 不 同 mask 遮挡 比例 下 本 文 算法 的 客观 

有 效 性 。 客 观 指标 对 比 采 用 三 种 不 同 的 指标 ， 分 别 是 峰值 信 
品 比 (PSNR)、 结 构 相 似 性 (SSIM) 以 及 L1 误差 。 其 中 PSNR 
与 SSM 指标 是 越 大 越 好 ，L1 误差 是 越 小 越 好 ，L1 误差 是 
修复 图 像 与 原 图 之 间 的 L1 范 数 。 在 上 述 三 种 客观 指标 的 对 
比 中 ， 本 文 算法 在 不 同 数据 集 上 的 实验 结果 显示 出 了 本 文 算 
法 的 优越 性 。 
实验 表明 本 章 算法 相 比 原 算 法 有 一 定 程度 的 提高 。 在 实 
验 中 发 现 非 周 期 特征 推理 的 迭代 次 数 对 修复 结果 有 影响 作用 ， 
通过 设计 不 同和 迭代 次 数 的 实验 得 到 在 友 代 次 数 为 6 次 的 时 
候 网 络 的 修复 性 能 表现 最 好 。 实 验 如 表 5 所 示 。 
de 5 周期 推理 模块 迭代 次 数 的 影响 


Tab.5 Influence of iteration number of periodic reasoning module 


M 


迭代 次 数 4 5 6 7 8 
PSNR 27.32 27.70 27.78 27.72 27.56 
SSIM 0.914 0.928 0.935 0.931 0.917 


模型 PSNR SSIM L1 
RFR-Net 33.56 0.981 0.0075 
本 文 算法 33.61 0.983 0.0071 


不 规则 遮挡 数据 集 将 不 同比 例 的 mask 进行 了 分 类 ， 其 
中 每 一 个 比例 含有 2000 张 随机 mask 图 像 ， 为 了 测试 模拟 本 
文 算法 在 不 同 mask 比例 下 的 修复 效果 ， 选 取 (0.1,0.2]、 
(0.3,0.4] 以 及 (0.5,0.6] 的 三 个 不 同比 例 的 mask 数据 集 作 为 测 


上 述 的 实验 证 明了 本 文 创新 的 有 效 性 ， 图 8 展示 了 本 文 
算法 在 不 同比 例 遮 挡 下 的 修复 表现 ， 图 9 展示 了 本 文 算法 在 
同一 图 像 上 不 同比 例 遮 挡 下 的 表现 。 从 主观 效果 上 来 看 ， 本 
文 算法 在 较 大 范围 的 任意 谈 挡 上 获得 了 比较 好 的 修复 效果 。 


3 ”结束 语 


针对 修复 网 络 无 法 兼顾 图 像 的 全 局 一 致 性 和 局 部 一 致 性 ， 
且 需 要 的 计算 负载 较 大 的 问题 ， 本 文 提出 了 非 对 称 周期 特征 


试 。 不 同 的 mask 比例 下 本 文 算法 与 其 他 算法 的 客观 指标 横 
向 对 比 结果 如 表 2~4 所 示 。 在 mask 比率 为 (0.1,0.2] 时 不 同 模 
型 的 修复 效果 对 比如 表 2 所 示 。 


推理 模块 ， 提 高 了 图 像 修 复 内 容 与 周围 己 知 像素 之 间 的 关联 
性 。 首先 引入 渐进 修复 的 思想 , 将 一 种 渐进 修复 模块 RFR) 结 
合 非 对 称 网 络 的 构架 ， 对 渐进 修复 模块 进行 重 构 ， 其 次 采用 
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录用 定稿 


加 入 了 非 对 称 RFR 模块 的 U-Net 框架 


李 雅 倩 ， 


， 51A PatchGAN 训练 


修复 网 络 ， 使 用 门 控 卷 积 层 作 为 U-Net 结构 的 生成 器 的 编码 
器 中 的 卷 积 函数 ，U-Net 底层 改 为 双 通 道 空洞 卷 积 的 方式 防 
止 图 像 空 间 结 构 在 生成 器 的 底层 被 破坏 ， 最 后 结合 感知 损失 


和 风格 损失 ， 获 得 了 良好 的 人 脸 修复 效果 。 实 验 结果 表明 ， 
本 文 算法 分 别 相 比 于 现 有 一 些 算法 ,在 信 品 比 (PSRN)、 结 
相似 性 (SSIM) 和 L1 误 关 各 项 客观 指标 以 及 主观 视觉 上 都 有 
显著 的 提高 。 


(e)0.4-0.5mask 下 修复 


ET 


(£0.5-0.6mask F f£ & [E 
图 8 不 同 mask a 


Fig.8 Repair effect under different mask ratio 


图 9 同一 图 像 不 同 mask 比例 下 的 修复 效果 
Fig.9 The repair effect of the same image with 


different mask proportions 
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